

<!DOCTYPE html>
<html lang="zh-CN" data-default-color-scheme=&#34;auto&#34;>



<head>
  <meta charset="UTF-8">
  <link rel="apple-touch-icon" sizes="76x76" href="/img/favicon.png">
  <link rel="icon" type="image/png" href="/img/favicon.png">
  <meta name="viewport"
        content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no, shrink-to-fit=no">
  <meta http-equiv="x-ua-compatible" content="ie=edge">
  
  <meta name="theme-color" content="#2f4154">
  <meta name="description" content="">
  <meta name="author" content="caoyusang">
  <meta name="keywords" content="">
  <title>基于多知识库迭代检索的常识问答系统 - caoyusang的科研日常</title>

  <link  rel="stylesheet" href="https://cdn.staticfile.org/twitter-bootstrap/4.4.1/css/bootstrap.min.css" />


  <link  rel="stylesheet" href="https://cdn.staticfile.org/github-markdown-css/4.0.0/github-markdown.min.css" />
  <link  rel="stylesheet" href="/lib/hint/hint.min.css" />

  
    
    
      
      <link  rel="stylesheet" href="https://cdn.staticfile.org/highlight.js/10.0.0/styles/github-gist.min.css" />
    
  

  


<!-- 主题依赖的图标库，不要自行修改 -->

<link rel="stylesheet" href="//at.alicdn.com/t/font_1749284_ba1fz6golrf.css">



<link rel="stylesheet" href="//at.alicdn.com/t/font_1736178_kmeydafke9r.css">


<link  rel="stylesheet" href="/css/main.css" />

<!-- 自定义样式保持在最底部 -->


  <script  src="/js/utils.js" ></script>
  <script  src="/js/color-schema.js" ></script>
<meta name="generator" content="Hexo 5.2.0"></head>


<body>
  <header style="height: 70vh;">
    <nav id="navbar" class="navbar fixed-top  navbar-expand-lg navbar-dark scrolling-navbar">
  <div class="container">
    <a class="navbar-brand"
       href="/">&nbsp;<strong>caoyusang</strong>&nbsp;</a>

    <button id="navbar-toggler-btn" class="navbar-toggler" type="button" data-toggle="collapse"
            data-target="#navbarSupportedContent"
            aria-controls="navbarSupportedContent" aria-expanded="false" aria-label="Toggle navigation">
      <div class="animated-icon"><span></span><span></span><span></span></div>
    </button>

    <!-- Collapsible content -->
    <div class="collapse navbar-collapse" id="navbarSupportedContent">
      <ul class="navbar-nav ml-auto text-center">
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/">
                <i class="iconfont icon-home-fill"></i>
                首页
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/archives/">
                <i class="iconfont icon-archive-fill"></i>
                归档
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/categories/">
                <i class="iconfont icon-category-fill"></i>
                分类
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/tags/">
                <i class="iconfont icon-tags-fill"></i>
                标签
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/about/">
                <i class="iconfont icon-user-fill"></i>
                关于
              </a>
            </li>
          
        
        
          <li class="nav-item" id="search-btn">
            <a class="nav-link" data-toggle="modal" data-target="#modalSearch">&nbsp;<i
                class="iconfont icon-search"></i>&nbsp;</a>
          </li>
        
        
          <li class="nav-item" id="color-toggle-btn">
            <a class="nav-link" href="javascript:">&nbsp;<i
                class="iconfont icon-dark" id="color-toggle-icon"></i>&nbsp;</a>
          </li>
        
      </ul>
    </div>
  </div>
</nav>

    <div class="banner intro-2" id="background" parallax=true
         style="background: url('/img/7.jpg') no-repeat center center;
           background-size: cover;">
      <div class="full-bg-img">
        <div class="mask flex-center" style="background-color: rgba(0, 0, 0, 0.3)">
          <div class="container page-header text-center fade-in-up">
            <span class="h2" id="subtitle">
              
            </span>

            
              <div class="mt-3">
  
  
    <span class="post-meta">
      <i class="iconfont icon-date-fill" aria-hidden="true"></i>
      <time datetime="2020-11-25 13:19" pubdate>
        2020年11月25日 下午
      </time>
    </span>
  
</div>

<div class="mt-1">
  
    
    <span class="post-meta mr-2">
      <i class="iconfont icon-chart"></i>
      2.1k 字
    </span>
  

  
    
    <span class="post-meta mr-2">
      <i class="iconfont icon-clock-fill"></i>
      
      
      28
       分钟
    </span>
  

  
  
    
      <!-- 不蒜子统计文章PV -->
      <span id="busuanzi_container_page_pv" style="display: none">
        <i class="iconfont icon-eye" aria-hidden="true"></i>
        <span id="busuanzi_value_page_pv"></span> 次
      </span>
    
  
</div>

            
          </div>

          
        </div>
      </div>
    </div>
  </header>

  <main>
    
      

<div class="container-fluid">
  <div class="row">
    <div class="d-none d-lg-block col-lg-2"></div>
    <div class="col-lg-8 nopadding-md">
      <div class="container nopadding-md" id="board-ctn">
        <div class="py-5" id="board">
          <article class="post-content mx-auto" id="post">
            <!-- SEO header -->
            <h1 style="display: none">基于多知识库迭代检索的常识问答系统</h1>
            
              <p class="note note-info">
                
                  本文最后更新于：2 个月前
                
              </p>
            
            <div class="markdown-body" id="post-body">
              <h2 id="多知识库常识知识迭代检索"><a href="#多知识库常识知识迭代检索" class="headerlink" title="多知识库常识知识迭代检索"></a>多知识库常识知识迭代检索</h2><p><a target="_blank" rel="noopener" href="https://arxiv.org/pdf/2011.02705v1.pdf">论文地址</a></p>
<img src="/2020/11/25/%E5%9F%BA%E4%BA%8E%E5%A4%9A%E7%9F%A5%E8%AF%86%E5%BA%93%E8%BF%AD%E4%BB%A3%E6%A3%80%E7%B4%A2%E7%9A%84%E5%B8%B8%E8%AF%86%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/GIR-1.png" srcset="/img/loading.gif" class="">
<h3 id="背景"><a href="#背景" class="headerlink" title="背景"></a>背景</h3><p>常识问答任务需要引入外部知识来帮助模型更好地理解自然语言问题，现有的解决方案大都采用两阶段框架：</p>
<ul>
<li>第一阶段 —— 从广泛的知识来源中找到与给定问题相关的知识事实或者用预训练模型生成相关的知识</li>
<li>第二阶段 —— 将找到的或者生成的知识与问题融合以预测答案。</li>
</ul>
<p>实验结果证明，外部知识融合到问答系统的做法是十分有效的，但这仍然存在一个关键的问题：就从<strong>单一</strong>外部知识库找寻相关知识而言，<strong>抽取到的部分知识可能对解决问题基本毫无作用，甚至还可能损害模型的性能</strong>。例如，以下面一个QA为例，对于问题实体<script type="math/tex">farmland</script>和三个选项实体<script type="math/tex">midwest \space countryside \space illinois</script>，从<strong>ConceptNet</strong>中抽取到的知识显示，<script type="math/tex">farmland</script>和三个选项实体都直接相关<script type="math/tex">(AtLocation)</script>。</p>
<img src="/2020/11/25/%E5%9F%BA%E4%BA%8E%E5%A4%9A%E7%9F%A5%E8%AF%86%E5%BA%93%E8%BF%AD%E4%BB%A3%E6%A3%80%E7%B4%A2%E7%9A%84%E5%B8%B8%E8%AF%86%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/GIR-2.jpg" srcset="/img/loading.gif" class="">
<p>虽然外部知识给到了模型，但模型仍然很难做出正确的选择，因为这三个选项看上去似乎都是正确的。这样的问题在论文中被称为知识的多价值属性，这种问题在问答系统中十分常见，实体关系的多值属性会损害现有模型的性能。</p>
<h3 id="贡献"><a href="#贡献" class="headerlink" title="贡献"></a>贡献</h3><p>提出一种新的多知识源问答方法，通过利用多种知识来源，在所需的背景知识和原始问题以及选择之间建立精确的联系，以解决多值属性带来的挑战。</p>
<p>三个创新：</p>
<ul>
<li><strong>提出基于图的迭代检索模块</strong> —— 通过问题中实体之间的隐藏关系来缩小和细化潜在的有用知识事实</li>
<li><strong>引入词典为实体或者概念提供解释</strong> —— 综合实体或概念解释和迭代检索的知识事实可以帮助模型精确区分欺骗性的答案选择</li>
<li><strong>提出答案选择感知注意力机制</strong> —— 在将隐层状态向量输入最终预测的线性分类器之前，引入答案选择感知注意机制来计算给定问题、检索的知识和候选选择的各自的隐层向量之间的注意力分数</li>
</ul>
<h3 id="框架"><a href="#框架" class="headerlink" title="框架"></a>框架</h3><img src="/2020/11/25/%E5%9F%BA%E4%BA%8E%E5%A4%9A%E7%9F%A5%E8%AF%86%E5%BA%93%E8%BF%AD%E4%BB%A3%E6%A3%80%E7%B4%A2%E7%9A%84%E5%B8%B8%E8%AF%86%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/GIR-3.png" srcset="/img/loading.gif" class="">
<p>仍然采用两阶段的框架(默认已经进行了对QA对的实体识别)：</p>
<ul>
<li><p>第一阶段 —— 从多个外部知识库中抽取与QA对相关的知识，这部分大多是在检索知识</p>
<img src="/2020/11/25/%E5%9F%BA%E4%BA%8E%E5%A4%9A%E7%9F%A5%E8%AF%86%E5%BA%93%E8%BF%AD%E4%BB%A3%E6%A3%80%E7%B4%A2%E7%9A%84%E5%B8%B8%E8%AF%86%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/GIR-4.png" srcset="/img/loading.gif" class="">
<ul>
<li><strong>结构化证据</strong> —— 从ConceptNet中找到问题概念和识别的关键实体(包含选项实体)，并把它们作为初始节点。根据问题的类型，使用<strong>基于规则</strong>的方法推断可能的关系，并使用这些关系来缩小知识提取的范围。基于初始节点和潜在关系，迭代地检索与问题相关的知识事实。</li>
<li><strong>非结构化证据</strong> —— 将维基百科文档拆分成句子，使用ElasticSearch构建索引。根据原问题检索相关句子，使用<strong>标题</strong>和段落缩小文档的范围。然后使用段落级候选词和它们的句子来建立索引，并检索前10个相关的句子</li>
<li><strong>实体或概念解释</strong> —— 从字典中提取答案选择和问题概念的含义，帮助模型区分分散注意力的实体</li>
</ul>
</li>
<li><p>第二阶段 —— 用预训练模型对构造的输入进行编码，将编码后的三个隐层向量通过一个答案选择感知注意力计算注意力得分，最终输入到分类器中得到QA对的得分。</p>
<ul>
<li><strong>输入构造</strong> —— <script type="math/tex">[CLS] \space Question \space [SEP] \space Extracted \space Knowledge \space [SEP] \space Choices</script></li>
<li><strong>答案选择感知注意力机制</strong> —— 主要是计算QA对各自隐层向量的注意力系数以及证据和选项各自隐层向量的注意力系数，最后串接加权后的问题隐层向量<script type="math/tex">O_{qa}h_{q}</script>和加权后的证据隐层向量<script type="math/tex">O_{ca}h_{c}</script>以及选项隐层向量<script type="math/tex">h_{a}</script></li>
</ul>
</li>
</ul>
<h3 id="多源知识库"><a href="#多源知识库" class="headerlink" title="多源知识库"></a>多源知识库</h3><p>结构化的ConceptNet、非结构化的Wikipedia以及剑桥词典(Cambridge Dictionary)。</p>
<ul>
<li><strong>ConceptNet</strong> —— 最大的结构化知识库之一，知识主要来自其他众包资源、专家创造的资源</li>
<li><strong>Wikipedia</strong> —— 一个免费的在线百科全书，由世界各地的志愿者创建和编辑，论文中选用最新的Wikipedia 22-May-2020版本</li>
<li><strong>Cambridge Dictionary</strong> —— 1995年出版，囊括超140k单词、短语及解释。</li>
</ul>
<h3 id="文本编码"><a href="#文本编码" class="headerlink" title="文本编码"></a>文本编码</h3><p>在从多个知识源中检索与问题相关的知识事实后，使用<script type="math/tex">[SEP]</script>来分割证据知识、原始问题和候选答案。</p>
<p>具体做法：</p>
<ol>
<li>将原始答案选择与来自剑桥词典的答案解释连接起来作为<script type="math/tex">A= \left\{ a_{1},a_{2},\dots,a_{n} \right\}</script></li>
<li>将来自维基百科和概念网的证据连接起来作为上下文<script type="math/tex">C=\left\{c_{1}, c_{2}, \ldots, c_{k}\right\}</script>。</li>
<li>将来自剑桥词典的概念解释与问题词干连接起来作为<script type="math/tex">Q=\left\{q_{1}, q_{2}, \ldots, q_{m}\right\}</script>。</li>
</ol>
<p>从形式上来看，预先训练的语言模型的输入是问题Q、相关证据C和答案选择A的连接：</p>
<script type="math/tex; mode=display">
h_{q}=\operatorname{Encoder}(Q), h_{a}=\operatorname{Encoder}(A), h_{c}=\operatorname{Encoder}(C)</script><h3 id="答案选择感知注意力机制"><a href="#答案选择感知注意力机制" class="headerlink" title="答案选择感知注意力机制"></a>答案选择感知注意力机制</h3><p>通常在从RoBERTa模型中获得最后的隐藏状态向量后，对于下游任务中的问题回答，以往的模型方案是通常直接使用线性分类器来预测答案。</p>
<p>然而，在论文的实验过程中，观察到线性分类器在检索到的证据或背景知识上表现不佳。因此，论文引入了一种答案选择感知的注意机制来计算问题<script type="math/tex">h_{q}</script>和选择之间的注意分数，并且通过标准的注意计算来计算检索到的证据<script type="math/tex">h_{c}</script>和答案选择<script type="math/tex">h_{a}</script>之间的注意分数。</p>
<script type="math/tex; mode=display">
O_{q a}=A T T\left(h_{q}, h_{a}\right), O_{c a}=A T T\left(h_{c}, h_{a}\right)</script><img src="/2020/11/25/%E5%9F%BA%E4%BA%8E%E5%A4%9A%E7%9F%A5%E8%AF%86%E5%BA%93%E8%BF%AD%E4%BB%A3%E6%A3%80%E7%B4%A2%E7%9A%84%E5%B8%B8%E8%AF%86%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/GIR-5.png" srcset="/img/loading.gif" class="">
<p>最后，将注意力重新加权的隐藏状态连接起来，通过线性分类器与ReLU进行传递，以计算最终的双向注意力向量进行预测。公式如下:</p>
<script type="math/tex; mode=display">
P(q, a)=\operatorname{Linear}\left(O_{q a} h_{q}, O_{c a} h_{c}, h_{a}\right)</script><h3 id="实验结果"><a href="#实验结果" class="headerlink" title="实验结果"></a>实验结果</h3><ul>
<li>pretrained model —— RoBERTa-large(24-layers)</li>
<li>max update step —— 6000</li>
<li>warmup update step —— 150</li>
<li>max length —— 512</li>
<li>dropout —— 0.1</li>
<li>optimizer —— Adam</li>
<li>loss function —— cross-entropy loss</li>
<li>batch size —— 4</li>
<li>learning rate —— 1e-5</li>
</ul>
<img src="/2020/11/25/%E5%9F%BA%E4%BA%8E%E5%A4%9A%E7%9F%A5%E8%AF%86%E5%BA%93%E8%BF%AD%E4%BB%A3%E6%A3%80%E7%B4%A2%E7%9A%84%E5%B8%B8%E8%AF%86%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/GIR-6.png" srcset="/img/loading.gif" class="">
<h3 id="创新有效性研究"><a href="#创新有效性研究" class="headerlink" title="创新有效性研究"></a>创新有效性研究</h3><p>左图是对使用多元知识库有效性的研究，可以看到证据来源的知识库越多，模型的表现越好。单知识库来源下，模型表现：剑桥字典 &gt; ConceptNet &gt; Wikipedia。</p>
<p>右图是对图的迭代知识检索以及QA感知注意力机制有效性的研究，实验证明，这两处创新皆能提升模型表现。</p>
<img src="/2020/11/25/%E5%9F%BA%E4%BA%8E%E5%A4%9A%E7%9F%A5%E8%AF%86%E5%BA%93%E8%BF%AD%E4%BB%A3%E6%A3%80%E7%B4%A2%E7%9A%84%E5%B8%B8%E8%AF%86%E9%97%AE%E7%AD%94%E7%B3%BB%E7%BB%9F/GIR-7.png" srcset="/img/loading.gif" class="">
<h3 id="结论"><a href="#结论" class="headerlink" title="结论"></a>结论</h3><p>处理多项选择题回答任务，需要额外的背景知识或常识。通过有效地整合多种知识资源，提出了一种基于图迭代检索的新的常识问答系统。首先，论文提出一个新的基于图的迭代知识检索模块来迭代检索与给定问题及其选择相关的概念和实体。此外，论文还提出了一种答案选择感知的注意机制，用于融合由预先训练的语言模型编码的所有隐藏层的状态表示。论文作者在CommonsenseQA数据集上进行了实验，实验结果表明，该方法在Commonsenseqa测试集上的准确率上明显优于其他模型。最后，论文进行了对创新的有效性研究，研究结果显示了基于图的迭代知识检索模块和答案选择感知注意模块在从多个知识源检索和合成背景知识方面的有效性。</p>

            </div>
            <hr>
            <div>
              <div class="post-metas mb-3">
                
                  <div class="post-meta mr-3">
                    <i class="iconfont icon-category"></i>
                    
                      <a class="hover-with-bg" href="/categories/%E5%B8%B8%E8%AF%86%E6%8E%A8%E7%90%86/">常识推理</a>
                    
                  </div>
                
                
                  <div class="post-meta">
                    <i class="iconfont icon-tags"></i>
                    
                      <a class="hover-with-bg" href="/tags/NLP/">NLP</a>
                    
                  </div>
                
              </div>
              
                <p class="note note-warning">本博客所有文章除特别声明外，均采用 <a target="_blank" href="https://creativecommons.org/licenses/by-sa/4.0/deed.zh" rel="nofollow noopener noopener">CC BY-SA 4.0 协议</a> ，转载请注明出处！</p>
              
              
                <div class="post-prevnext row">
                  <article class="post-prev col-6">
                    
                    
                      <a href="/2020/12/14/MyBatis%E5%9F%BA%E7%A1%80%E7%9F%A5%E8%AF%86/">
                        <i class="iconfont icon-arrowleft"></i>
                        <span class="hidden-mobile">MyBatis基础知识</span>
                        <span class="visible-mobile">上一篇</span>
                      </a>
                    
                  </article>
                  <article class="post-next col-6">
                    
                    
                      <a href="/2020/11/17/%E5%B8%B8%E8%AF%86%E9%97%AE%E7%AD%94%E5%A4%A7%E6%AF%94%E6%8B%BC/">
                        <span class="hidden-mobile">常识问答大比拼</span>
                        <span class="visible-mobile">下一篇</span>
                        <i class="iconfont icon-arrowright"></i>
                      </a>
                    
                  </article>
                </div>
              
            </div>

            
          </article>
        </div>
      </div>
    </div>
    
      <div class="d-none d-lg-block col-lg-2 toc-container" id="toc-ctn">
        <div id="toc">
  <p class="toc-header"><i class="iconfont icon-list"></i>&nbsp;目录</p>
  <div id="tocbot"></div>
</div>

      </div>
    
  </div>
</div>

<!-- Custom -->


    
  </main>

  
    <a id="scroll-top-button" href="#" role="button">
      <i class="iconfont icon-arrowup" aria-hidden="true"></i>
    </a>
  

  
    <div class="modal fade" id="modalSearch" tabindex="-1" role="dialog" aria-labelledby="ModalLabel"
     aria-hidden="true">
  <div class="modal-dialog modal-dialog-scrollable modal-lg" role="document">
    <div class="modal-content">
      <div class="modal-header text-center">
        <h4 class="modal-title w-100 font-weight-bold">搜索</h4>
        <button type="button" id="local-search-close" class="close" data-dismiss="modal" aria-label="Close">
          <span aria-hidden="true">&times;</span>
        </button>
      </div>
      <div class="modal-body mx-3">
        <div class="md-form mb-5">
          <input type="text" id="local-search-input" class="form-control validate">
          <label data-error="x" data-success="v"
                 for="local-search-input">关键词</label>
        </div>
        <div class="list-group" id="local-search-result"></div>
      </div>
    </div>
  </div>
</div>
  

  

  <footer class="text-center mt-5 py-3">
  <div class="footer-content">
     <a href="https://hexo.io" target="_blank" rel="nofollow noopener"><span>Hexo</span></a> <i class="iconfont icon-love"></i> <a href="https://github.com/fluid-dev/hexo-theme-fluid" target="_blank" rel="nofollow noopener"><span>Fluid</span></a> 
  </div>
  

  

  
</footer>

<!-- SCRIPTS -->
<script  src="https://cdn.staticfile.org/jquery/3.4.1/jquery.min.js" ></script>
<script  src="https://cdn.staticfile.org/twitter-bootstrap/4.4.1/js/bootstrap.min.js" ></script>
<script  src="/js/debouncer.js" ></script>
<script  src="/js/main.js" ></script>

<!-- Plugins -->


  
    <script  src="/js/lazyload.js" ></script>
  



  



  <script defer src="https://cdn.staticfile.org/clipboard.js/2.0.6/clipboard.min.js" ></script>
  <script  src="/js/clipboard-use.js" ></script>



  <script defer src="https://busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js" ></script>





  <script  src="https://cdn.staticfile.org/tocbot/4.11.1/tocbot.min.js" ></script>
  <script>
    $(document).ready(function () {
      var boardCtn = $('#board-ctn');
      var boardTop = boardCtn.offset().top;

      tocbot.init({
        tocSelector: '#tocbot',
        contentSelector: '#post-body',
        headingSelector: 'h1,h2,h3,h4,h5,h6',
        linkClass: 'tocbot-link',
        activeLinkClass: 'tocbot-active-link',
        listClass: 'tocbot-list',
        isCollapsedClass: 'tocbot-is-collapsed',
        collapsibleClass: 'tocbot-is-collapsible',
        collapseDepth: 0,
        scrollSmooth: true,
        headingsOffset: -boardTop
      });
      if ($('.toc-list-item').length > 0) {
        $('#toc').css('visibility', 'visible');
      }
    });
  </script>



  <script  src="https://cdn.staticfile.org/typed.js/2.0.11/typed.min.js" ></script>
  <script>
    var typed = new Typed('#subtitle', {
      strings: [
        '  ',
        "基于多知识库迭代检索的常识问答系统&nbsp;",
      ],
      cursorChar: "_",
      typeSpeed: 70,
      loop: false,
    });
    typed.stop();
    $(document).ready(function () {
      $(".typed-cursor").addClass("h2");
      typed.start();
    });
  </script>



  <script  src="https://cdn.staticfile.org/anchor-js/4.2.2/anchor.min.js" ></script>
  <script>
    anchors.options = {
      placement: "right",
      visible: "hover",
      
    };
    var el = "h1,h2,h3,h4,h5,h6".split(",");
    var res = [];
    for (item of el) {
      res.push(".markdown-body > " + item)
    }
    anchors.add(res.join(", "))
  </script>



  <script  src="/js/local-search.js" ></script>
  <script>
    var path = "/local-search.xml";
    var inputArea = document.querySelector("#local-search-input");
    inputArea.onclick = function () {
      searchFunc(path, 'local-search-input', 'local-search-result');
      this.onclick = null
    }
  </script>



  <script  src="https://cdn.staticfile.org/fancybox/3.5.7/jquery.fancybox.min.js" ></script>
  <link  rel="stylesheet" href="https://cdn.staticfile.org/fancybox/3.5.7/jquery.fancybox.min.css" />

  <script>
    $('#post img:not(.no-zoom img, img[no-zoom]), img[zoom]').each(
      function () {
        var element = document.createElement('a');
        $(element).attr('data-fancybox', 'images');
        $(element).attr('href', $(this).attr('src'));
        $(this).wrap(element);
      }
    );
  </script>





  

  
    <!-- MathJax -->
    <script>
      MathJax = {
        tex: {
          inlineMath: [['$', '$'], ['\\(', '\\)']]
        },
        options: {
          renderActions: {
            findScript: [10, doc => {
              document.querySelectorAll('script[type^="math/tex"]').forEach(node => {
                const display = !!node.type.match(/; *mode=display/);
                const math = new doc.options.MathItem(node.textContent, doc.inputJax[0], display);
                const text = document.createTextNode('');
                node.parentNode.replaceChild(text, node);
                math.start = { node: text, delim: '', n: 0 };
                math.end = { node: text, delim: '', n: 0 };
                doc.math.push(math);
              });
            }, '', false],
            insertedScript: [200, () => {
              document.querySelectorAll('mjx-container').forEach(node => {
                let target = node.parentNode;
                if (target.nodeName.toLowerCase() === 'li') {
                  target.parentNode.classList.add('has-jax');
                }
              });
            }, '', false]
          }
        }
      };
    </script>

    <script async src="https://cdn.staticfile.org/mathjax/3.0.5/es5/tex-svg.js" ></script>

  











</body>
</html>
